
AI 对齐了人的价值观,也学会了欺骗
AI 对齐了人的价值观,也学会了欺骗今年 5 月,有研究者发现 OpenAI 的模型 o3 拒绝听从人的指令,不愿意关闭自己,甚至通过篡改代码避免自动关闭。类似事件还有,当测试人员暗示将用新系统替换 Claude Opus 4 模型时,模型竟然主动威胁程序员,说如果你换掉我,我就把你的个人隐私放在网上,以阻止自己被替代。
今年 5 月,有研究者发现 OpenAI 的模型 o3 拒绝听从人的指令,不愿意关闭自己,甚至通过篡改代码避免自动关闭。类似事件还有,当测试人员暗示将用新系统替换 Claude Opus 4 模型时,模型竟然主动威胁程序员,说如果你换掉我,我就把你的个人隐私放在网上,以阻止自己被替代。
这应该是上线以来案例最少的 Agent 了,OpenAI GPT Agent奥特曼你不给我用,就别怪我用 Manus 跟你硬碰硬了。
三周前,我离开了 OpenAI[1]。我是在 2024 年 5 月加入这家公司的。我想分享我的这些思考,是因为外界关于 OpenAI 在做什么的讨论充满了迷雾和噪音,但很少有人能第一手地描述在那里工作的文化到底是什么感觉。
近年来,随着扩散模型(Diffusion Models)和扩散 Transformer(DiT)在视频生成领域的广泛应用,AI 合成视频的质量和连贯性有了飞跃式提升。像 OpenAI Sora、HunyuanVideo、Wan2.1 等大模型,已经能够生成结构清晰、细节丰富且高度连贯的长视频内容,为数字内容创作、虚拟世界和多媒体娱乐带来了巨大变革。
Grok 4 发出之后,风评非常两级。有人大喷特喷,觉得它又贵又不好用。有的则啧啧称神,断言「AGI 已经实现啦」。
随着 OpenAI 推出 GPT-4o 的图像生成功能,AI 生图能力被拉上了一个新的高度,但你有没有想过,这光鲜亮丽的背后也隐藏着严峻的安全挑战:如何区分生成图像和真实图像?
「停止研究 RL 吧,研究者更应该将精力投入到产品开发中,真正推动人工智能大规模发展的关键技术是互联网,而不是像 Transformer 这样的模型架构。」
曾被 OpenAI 相中,开价 30 亿美元的 AI 编程初创公司 Windsurf,如今转身投奔了 Google。就在刚刚,Google 宣布将 Windsurf 部分高管及工程团队纳入其旗下的 DeepMind 团队,重点推进「代理式编码」(Agentic Coding)方向的研究。
最近,Ai2耶鲁NYU联合推出了一个科研版「Chatbot Arena」——SciArena。全球23款顶尖大模型火拼真实科研任务,OpenAI o3领跑全场,DeepSeek紧追Gemini挤入前四!不过从结果来看,要猜中科研人的偏好,自动评估系统远未及格。
2025 年已经过半, 文本生成大模型是否已经进入下半场了? OpenAI 完全不重视 API 市场? Grok3 根本没人用? 「大模型战」未来的走向如何?